Text Clustering to Support Knowledge Acquisition from Documents

At the earlier stage of the knowledge acquisition process, interviews of experts produce a large amount of rich but ill-structured texts. Knowledge engineers need some tool to help them in the exploitation of all these texts. We propose the use of a statistical method, the top-down hierarchical classification and a new interpretation of its results. The initial statistical analysis proposed by M. Reinert (Reinert, 1979 and 1992) gives two kinds of results: first a segmentation of texts that reflects their «semantic contexts» that we use to raise structures of texts, and second, classes of significant terms belonging to these contexts, which can be related to the experts or to these specialities. In this paper, we describe the method, its empirical validity and its comparison with similar approaches, its uses with examples and results. We conclude with some research directions to deal with so-called "ontologies" on expert’s domains. Key-words: hierarchical top-down classification, statistical text analysis, text segmentation, text structure discovery, semantic context. * Email: [email protected] Agrégation de segments de texte pour l’aide à l’acquisition de connaissances à partir de documents Résumé : Dans les premières étapes du processus d’acquisition des connaissances, une grande quantité de textes riches en expertise, mais sans structure est produite. Le cogniticien a alors besoin d’un outil pour exploiter tous ces textes. Nous proposons l’utilisation d’une méthode statistique, la classification descendante hiérarchique et une nouvelle interprétation de ses résultats. Cette analyse statistique telle qu’elle a été proposée par Max Reinert (Reinert, 1979 and 1992) donne deux sortes de résultats : premièrement une segmentation des textes qui reflète leurs «contextes sémantiques», que nous utilisons pour mettre en évidence la structure des textes, et deuxièmement, un ensemble de classes de termes attachés à ces contextes, qui peuvent servir à la caractérisation des experts ou de leurs spécialités. Dans ce rapport, nous décrivons la méthode, sa validité empirique, les approches similaires, ainsi que son utilisation avec quelques exemples et résultats. Nous concluons sur des directions de recherche pour traiter les «ontologies» sur des domaines d’expertise. Mots-clé : classification descendante hiérarchique, analyse statistique de texte, segmentation de texte, découverte de la structure de texte, contexte sémantique. Text Clustering to Support Knowledge Acquisition from Documents 1 Text Clustering to Support Knowledge Acquisition from Documents Stéphane Lapalut ACACIA project, INRIA Sophia Antipolis, BP 93, 06 902 Sophia Antipolis cedex, France [Sté[email protected]]